Objetivo

O objetivo é prever o perço final de uma casa utilizando o banco de dados que contem uma lista de casas em Ames, Iowa. Esse banco de dados conta com 79 variáveis explicativas que ajudam a determinar o preço das casas.

Descrição das Variáveis

train.csv - Registros de cerca de metade (~1460) das casas.

• Id - Um ID exclusivo para cada casa.
  

• MSSubClass - Identifica o tipo de habitação.

  • 20: 1-STORY 1946 & NEWER ALL STYLES
  • 30: 1-STORY 1945 & OLDER
  • 40: 1-STORY W/FINISHED ATTIC ALL AGES
  • 45: 1-1/2 STORY - UNFINISHED ALL AGES
  • 50: 1-1/2 STORY FINISHED ALL AGES
  • 60: 2-STORY 1946 & NEWER
  • 70: 2-STORY 1945 & OLDER
  • 75: 2-1/2 STORY ALL AGES
  • 80: SPLIT OR MULTI-LEVEL
  • 85: SPLIT FOYER
  • 90: DUPLEX - ALL STYLES AND AGES
  • 120: 1-STORY PUD (Planned Unit Development) - 1946 & NEWER
  • 150: 1-1/2 STORY PUD - ALL AGES
  • 160: 2-STORY PUD - 1946 & NEWER
  • 180: PUD - MULTILEVEL - INCL SPLIT LEV/FOYER
  • 190: 2 FAMILY CONVERSION - ALL STYLES AND AGES
    
    

• MSZoning - Identifica a área em que está situado o imóvel.

  • A: Agriculture
  • C: Commercial
  • FV: Floating Village Residential
  • I: Industrial
  • RH: Residential High Density
  • RL: Residential Low Density
  • RP: Residential Low Density Park
  • RM: Residential Medium Density
    
    

• LotFrontage - Distância em pés da área da frente da casa até a rua.
  

• LotArea - Tamanho da casa em pés quadrados.
  

• Street - Identifica o tipo de rua que dá acesso à propriedade.

  • Grvl: Gravel
  • Pave: Paved
    
    

• Alley - Identifica o tipo de beco/ruela que dá acesso à propriedade.

  • Grvl: Gravel
  • Pave: Paved
  • NA: No alley access
    
    

• LotShape - Identifica o formato do terreno da propriedade.

  • Reg: Regular
    
  • IR1: Slightly irregular
  • IR2: Moderately Irregular
  • IR3: Irregular
    
    

• LandContour - Identifica o quao plano é o terreno da propriedade.

  • Lvl: Near Flat/Level
  • Bnk: Banked - Quick and significant rise from street grade to building
  • HLS: Hillside - Significant slope from side to side
  • Low: Depression
    
    

• Utilities - Identifica o tipo de utilidades disponíveis.

  • AllPub: All public Utilities (E,G,W,& S)
  • NoSewr: Electricity, Gas, and Water (Septic Tank)
  • NoSeWa: Electricity and Gas Only
  • ELO: Electricity only
    

• LotConfig - Identifica a configuração do terreno.

  • Inside: Inside lot
  • Corner: Corner lot
  • CulDSac: Cul-de-sac
  • FR2: Frontage on 2 sides of property
  • FR3: Frontage on 3 sides of property
    
    

• LandSlope - Identifica o declive da propriedade.

  • Gtl: Gentle slope
  • Mod: Moderate Slope
  • Sev: Severe Slope
    
    

• Neighborhood - Identifica as localidades físicas dentro dos limites da cidade de Ames.

  • Blmngtn: Bloomington Heights
  • Blueste: Bluestem
  • BrDale: Briardale
  • BrkSide: Brookside
  • ClearCr: Clear Creek
  • CollgCr: College Creek
  • Crawfor: Crawford
  • Edwards: Edwards
  • Gilbert: Gilbert
  • IDOTRR: Iowa DOT and Rail Road
  • MeadowV: Meadow Village
  • Mitchel: Mitchell
  • Names: North Ames
  • NoRidge: Northridge
  • NPkVill: Northpark Villa
  • NridgHt: Northridge Heights
  • NWAmes: Northwest Ames
  • OldTown: Old Town
  • SWISU: South & West of Iowa State University
  • Sawyer: Sawyer
  • SawyerW: Sawyer West
  • Somerst: Somerset
  • StoneBr: Stone Brook
  • Timber: Timberland
  • Veenker: Veenker
    
    

• Condition1 - Identifica a proximidade a condições diversas.

  • Artery: Adjacent to arterial street
  • Feedr: Adjacent to feeder street
  • Norm: Normal
  • RRNn: Within 200’ of North-South Railroad
  • RRAn: Adjacent to North-South Railroad
  • PosN: Near positive off-site feature–park, greenbelt, etc.
  • PosA: Adjacent to postive off-site feature
  • RRNe: Within 200’ of East-West Railroad
  • RRAe: Adjacent to East-West Railroad
    
    

• Condition2 - Identifica a proximidade a condições diversas (se mais de uma está presente).

  • Artery: Adjacent to arterial street
  • Feedr: Adjacent to feeder street
  • Norm: Normal
  • RRNn: Within 200’ of North-South Railroad
  • RRAn: Adjacent to North-South Railroad
  • PosN: Near positive off-site feature–park, greenbelt, etc.
  • PosA: Adjacent to postive off-site feature
  • RRNe: Within 200’ of East-West Railroad
  • RRAe: Adjacent to East-West Railroad
    
    

• BldgType - Identfica o tipo de habitação.

  • 1Fam: Single-family Detached
  • 2FmCon: Two-family Conversion; originally built as one-family dwelling
  • Duplx: Duplex
  • TwnhsE: Townhouse End Unit
  • TwnhsI: Townhouse Inside Unit
    
    

• HouseStyle - Identifica o estilo da habitação.

  • 1Story: One story
  • 1.5Fin: One and one-half story: 2nd level finished
  • 1.5Unf: One and one-half story: 2nd level unfinished
  • 2Story: Two story
  • 2.5Fin: Two and one-half story: 2nd level finished
  • 2.5Unf: Two and one-half story: 2nd level unfinished
  • SFoyer: Split Foyer
  • SLvl: Split Level
    
    

• OverallQual - Avaliação geral do material e acabamento da casa.

  • 10: Very Excellent
  • 9: Excellent
  • 8: Very Good
  • 7: Good
  • 6: Above Average
  • 5: Average
  • 4: Below Average
  • 3: Fair
  • 2: Poor
  • 1: Very Poor
    
    

• OverallCond - Avaliação geral da condição da casa.

  • 10: Very Excellent
  • 9: Excellent
  • 8: Very Good
  • 7: Good
  • 6: Above Average
  • 5: Average
  • 4: Below Average
  • 3: Fair
  • 2: Poor
  • 1: Very Poor
    
    

• YearBuilt - Ano em que a casa foi contruída.
  

• YearRemodAdd - Ano em que a casa foi remodelada (será igual a da construção se nenhuma adição ou remodelagem foi feita).
  

• RoofStyle - Identifica o tipo de telhado.

  • Flat: Flat
  • Gable: Gable
  • Gambrel: Gabrel (Barn)
  • Hip: Hip
  • Mansard: Mansard
  • Shed: Shed
    
    

• RoofMatl - Itentifica o tipo e material do telhado.

  • ClyTile: Clay or Tile
  • CompShg: Standard (Composite) Shingle
  • Membran: Membrane
  • Metal: Metal
  • Roll: Roll
  • Tar&Grv: Gravel & Tar
  • WdShake: Wood Shakes
  • WdShngl: Wood Shingles
    
    

• Exterior1st - Identifica o acabamento externo da casa.

  • AsbShng: Asbestos Shingles
  • AsphShn: Asphalt Shingles
  • BrkComm: Brick Common
  • BrkFace: Brick Face
  • CBlock: Cinder Block
  • CemntBd: Cement Board
  • HdBoard: Hard Board
  • ImStucc: Imitation Stucco
  • MetalSd: Metal Siding
  • Other: Other
  • Plywood: Plywood
  • PreCast: PreCast
  • Stone: Stone
  • Stucco: Stucco
  • VinylSd: Vinyl Siding
  • Wd Sdng: Wood Siding
  • WdShing: Wood Shingles
    
    

• Exterior2nd - Identifica o acabamento externo da casa (se exixtir mais de um).

  • AsbShng: Asbestos Shingles
  • AsphShn: Asphalt Shingles
  • BrkComm: Brick Common
  • BrkFace: Brick Face
  • CBlock: Cinder Block
  • CemntBd: Cement Board
  • HdBoard: Hard Board
  • ImStucc: Imitation Stucco
  • MetalSd: Metal Siding
  • Other: Other
  • Plywood: Plywood
  • PreCast: PreCast
  • Stone: Stone
  • Stucco: Stucco
  • VinylSd: Vinyl Siding
  • Wd Sdng: Wood Siding
  • WdShing: Wood Shingles
    
    

• MasVnrType - Identifica o tipo de alvenaria.

  • BrkCmn: Brick Common
  • BrkFace: Brick Face
  • CBlock: Cinder Block
  • None: None
  • Stone: Stone
    
    

• MasVnrArea - Identifica a área em pés quadrados da alvenaria.
  

• ExterQual - Avaliação da qualidade do material do exterior da construção.

  • Ex: Excellent
  • Gd: Good
  • TA: Average/Typical
  • Fa: Fair
  • Po: Poor
    
    

• ExterCond - Avaliação da condição atual do material do exterior da contrução.

  • Ex: Excellent
  • Gd: Good
  • TA: Average/Typical
  • Fa: Fair
  • Po: Poor
    
    

• Foundation - Identifica o tipo de fundação.

  • BrkTil: Brick & Tile
  • CBlock: Cinder Block
  • PConc: Poured Contrete
  • Slab: Slab
  • Stone: Stone
  • Wood: Wood
    
    

• BsmtQual - Avaliação da altura do porão.

  • Ex: Excellent (100+ inches)
  • Gd: Good (90-99 inches)
  • TA: Typical (80-89 inches)
  • Fa: Fair (70-79 inches)
  • Po: Poor (<70 inches
  • NA: No Basement
    
    

• BsmtCond - Avaliação da condição geral do porão.

  • Ex: Excellent
  • Gd: Good
  • TA: Typical - slight dampness allowed
  • Fa: Fair - dampness or some cracking or settling
  • Po: Poor - Severe cracking, settling, or wetness
  • NA: No Basement
    
    

• BsmtExposure - Identifica o tipo de exposição do porão para o jardim.

  • Gd: Good Exposure
  • Av: Average Exposure (split levels or foyers typically score average or above)
  • Mn: Mimimum Exposure
  • No: No Exposure
  • NA: No Basement
    
    

• BsmtFinType1 - Classificação da área contruída tipo 1 do porão.

  • GLQ: Good Living Quarters
  • ALQ: Average Living Quarters
  • BLQ: Below Average Living Quarters
  • Rec: Average Rec Room
  • LwQ: Low Quality
  • Unf: Unfinshed
  • NA: No Basement
    
    

• BsmtFinSF1 - Área contruída tipo 1 do porão em pés quadrados.
  

• BsmtFinType2 - Classificação da área contruída tipo 2 do porão (se mais de um).

  • GLQ: Good Living Quarters
  • ALQ: Average Living Quarters
  • BLQ: Below Average Living Quarters
  • Rec: Average Rec Room
  • LwQ: Low Quality
  • Unf: Unfinshed
  • NA: No Basement
    
    

• BsmtFinSF2 - Área contruída tipo 1 do porão em pés quadrados.
  

• BsmtUnfSF - Área não contruída do porão em pés quadrados.
  

• TotalBsmtSF - Área total do porão em pés quadrados.
  

• Heating - Identifica o tipo de sistema de aquecimento.

  • Floor: Floor Furnace
  • GasA: Gas forced warm air furnace
  • GasW: Gas hot water or steam heat
  • Grav: Gravity furnace
  • OthW: Hot water or steam heat other than gas
  • Wall: Wall furnace
    
    

• HeatingQC - Avaliação da qualidade e condição dos sistema de aquecimento.

  • Ex: Excellent
  • Gd: Good
  • TA: Average/Typical
  • Fa: Fair
  • Po: Poor
    
    

• CentralAir - Identifica a existência de sistema de ar condicionado.

  • N: No
  • Y: Yes
    
    

• Electrical - Identifica o tipo de sistema elétrico.

  • SBrkr: Standard Circuit Breakers & Romex
  • FuseA: Fuse Box over 60 AMP and all Romex wiring (Average)
  • FuseF: 60 AMP Fuse Box and mostly Romex wiring (Fair)
  • FuseP: 60 AMP Fuse Box and mostly knob & tube wiring (poor)
  • Mix: Mixed
    
    

• 1stFlrSF - Área do primeiro andar em pés quadrados.
  

• 2ndFlrSF - Área do segundo andar em pés quadrados.
  

• LowQualFinSF - Área com acabamento de baixa qualidade em pés quadrados (todos os andares).
  

• GrLivArea - Área habitável acima do solo em pés quadrados.
  

• BsmtFullBath - Quantidade de banheiros completos no porão.
  

• BsmtHalfBath - Quantidade de lavabos no porão.
  

• FullBath - Quantidade de banheiros completos na área habitável acima do solo.
  

• HalfBath - Quantidade de lavabos na área habitável acima do solo.
  

• Bedroom - Quantidade de quartos na área habitável acima do solo (Não inclui o porão).
  

• Kitchen - Quantidade de cozinhas na área habitável acima do solo.
  

• KitchenQual - Avaliação da qualidade da cozinha.

  • Ex: Excellent
  • Gd: Good
  • TA: Typical/Average
  • Fa: Fair
  • Po: Poor
    
    

• TotRmsAbvGrd - Quantidade total de cômodoss na área habitável acima do solo (Não inclui banheiros).
  

• Functional - Idintifica a funcionaidade da propriedade (assume como “Típica” a menos que haja alguma dedução).

  • Typ: Typical Functionality
  • Min1: Minor Deductions 1
  • Min2: Minor Deductions 2
  • Mod: Moderate Deductions
  • Maj1: Major Deductions 1
  • Maj2: Major Deductions 2
  • Sev: Severely Damaged
  • Sal: Salvage only
    
    

• Fireplaces - Quantidade de lareiras.
  

• FireplaceQu - Avaliação da qualidade da lareira.

  • Ex: Excellent - Exceptional Masonry Fireplace
  • Gd: Good - Masonry Fireplace in main level
  • TA: Average - Prefabricated Fireplace in main living area or Masonry Fireplace in basement
  • Fa: Fair - Prefabricated Fireplace in basement
  • Po: Poor - Ben Franklin Stove
  • NA: No Fireplace
    
    

• GarageType - Identifica a localização da garagem.

  • 2Types: More than one type of garage
  • Attchd: Attached to home
  • Basment: Basement Garage
  • BuiltIn: Built-In (Garage part of house - typically has room above garage)
  • CarPort: Car Port
  • Detchd: Detached from home
  • NA: No Garage
    
    

• GarageYrBlt - Ano de contrução da garagem.
  

• GarageFinish - Identifica o acabamento interno da garagem.

  • Fin: Finished
  • RFn: Rough Finished
  • Unf: Unfinished
  • NA: No Garage
    
    

• GarageCars - Quantidade de carros que a garagem comporta.
  

• GarageArea - Tamanho da garagem em pés quadrados.
  

• GarageQual - Identifica a qualidade da garagem.

  • Ex: Excellent
  • Gd: Good
  • TA: Typical/Average
  • Fa: Fair
  • Po: Poor
  • NA: No Garage
    
    

• GarageCond - Identifica a condição da garagem.

  • Ex: Excellent
  • Gd: Good
  • TA: Typical/Average
  • Fa: Fair
  • Po: Poor
  • NA: No Garage
    
    

• PavedDrive - Identifica se a entrada da gragem é pavimentada.

  • Y: Paved
  • P: Partial Pavement
  • N: Dirt/Gravel
    
    

• WoodDeckSF - Área do deck de madeira em pés quadrados.
  

• OpenPorchSF - Área da varanda em pés quadrados.
  

• EnclosedPorch - Área da varanda fechada (telhado) em pés quadrados.
  

• 3SsnPorch - Área da varanda fechada (3 seasons) em pés quadrados.
  

• ScreenPorch - Área da varanda fechada (tela) em pés quadrados.
  

• PoolArea - Área da da piscina em pés quadrados.
  

• PoolQC - Identifica a qualidade da piscina.

  • Ex: Excellent
  • Gd: Good
  • TA: Average/Typical
  • Fa: Fair
  • NA: No Pool
    
    

• Fence - Identifica a qualidade da cerca.

  • GdPrv: Good Privacy
  • MnPrv: Minimum Privacy
  • GdWo: Good Wood
  • MnWw: Minimum Wood/Wire
  • NA: No Fence
    
    

• MiscFeature - Identifica coisas variadas que não foram cobertas nas categorias anteriores.

  • Elev: Elevator
  • Gar2: 2nd Garage (if not described in garage section)
  • Othr: Other
  • Shed: Shed (over 100 SF)
  • TenC: Tennis Court
  • NA: None
    
    

• MiscVal - Valor em dólares das coisas variádas descritas acima.
  

• MoSold - Mês da venda (MM).
  

• YrSold - Ano da venda (YYYY).
  

• SaleType - Identifica o tipo da venda.

  • WD: Warranty Deed - Conventional
  • CWD: Warranty Deed - Cash
  • VWD: Warranty Deed - VA Loan
  • New: Home just constructed and sold
  • COD: Court Officer Deed/Estate
  • Con: Contract 15% Down payment regular terms
  • ConLw: Contract Low Down payment and low interest
  • ConLI: Contract Low Interest
  • ConLD: Contract Low Down
  • Oth: Other
    
    

• SaleCondition - Condição da venda.

  • Normal: Normal Sale
  • Abnorml: Abnormal Sale - trade, foreclosure, short sale
  • AdjLand: Adjoining Land Purchase
  • Alloca: Allocation - two linked properties with separate deeds, typically condo with a garage unit
  • Family: Sale between family members
  • Partial: Home was not completed when last assessed (associated with New Homes)
    
    

• SalesPrice - O preço de venda da casa. Este é o target, a coluna que você está tentando prever.
  test.csv - Registros de cerca de metade (~1459) das casas, para serem usados como dados de teste.
  Sua tarefa é prever o valor de Transportado para os passageiros neste conjunto.
  
  sample_submission.csv - Um arquivo de envio no formato correto.

• Id - Id para cada casa no conjunto de teste.
  

• SalesPrice - O alvo. Para cada casa, preveja o valor da venda associado a ela.
  

Importação dos Dados

Vamos importar os 3 bancos: Train, Test e Sample_Submission.

ds2_train <- read_csv(".\\house-prices-regression\\train.csv")
ds2_test <- read_csv(".\\house-prices-regression\\test.csv")
ds2_submission <- read_csv(".\\house-prices-regression\\sample_submission.csv")

Antes de ajustar as variáveis, vamos combinar os dados para que as mudanças sejam feitas de forma mais rápida.

#merge between test & submission
ds2_test_submission <- merge(ds2_test, ds2_submission, by=c("Id", "Id"))

ds2_train$table <- "train"
ds2_test_submission$table <- "test"

ds2_all <- rbind(ds2_train, ds2_test_submission)

Ajuste das Variáveis

Esse banco de dados consiste basicamente em variáveis qualitativas em sua grande maioria. Ainda sim algumas mudanças precisam ser feitas para que possamos realizar a modelagem.
As variáveis OverallQal e OverallCond são Escalas de Likert pura e simplemente com 10 níveis de classificação. Existem outras variáveis no banco como ExterQual, ExterCond, BsmtQual, BsmtCond, HeatingQC, KitchenQual, FireplaceQu, GarageQual, GarageCond e PoolQC também são escalas de Likert contudo temos letras ao invés de números e essas letras também representam uma ordem. Vamos fazer a modificação dessas variáveis, principalmente para o caso em que uma das possíveis respostas para elas é “NA”, indicando que essa pergunta não se aplica naquela moradia e não deve ser removido como se fosse valor faltante.
Variáveis relativas ao porão por exemplo, só serão respondidas se a casa possui porão, então faz sentido criar uma variável dummy respondendo essa pergunta simples pois pode ser mais significante no modelo saber se tem ou não porão. O mesmo para a variável sobre a qualidade da lareira, quantidade de garagens, condição da piscina, condição da cerca e a variável MiscFeature.

Snapshot:

head(ds2_all) %>%  kbl %>% kable_paper(c("striped", "hover"), full_width = F, fixed_thead = T)

#h_train1_summary0 <- as.data.frame(which( colSums( is.na(ds2_all[ds2_all$table == "train",]) ) > 0 ))
#colnames(h_train1_summary3) <- c("Missing Observations")


h_train1_summary0 <- as.data.frame(t(ds2_all[ds2_all$table == "train",] %>% 
  summarise(across(everything(), ~ sum(is.na(.x)) ))))
colnames(h_train1_summary0) <- c("Missing Observations")

h_train1_summary0 %>% 
  kbl %>% kable_paper(c("striped", "hover"), full_width = F, fixed_thead = T) %>%
  column_spec(2, color = "black",
              background = ifelse(h_train1_summary0 > 0, "yellow", "blank")
              #,
             #popover = paste("am:", mtcars$am[1:8])
              )

ds2_all[ds2_all$table == "train",] %>% 
  dplyr::select("Id" | contains("Bsm")) %>%
  filter_all(any_vars( is.na(.)))  %>%  
    kbl %>% kable_paper(c("striped", "hover"), full_width = F, fixed_thead = T)

ds2_all[ds2_all$table == "train",] %>% 
  dplyr::select("Id" | contains("MasVnr")) %>%
  filter_all(any_vars(grepl("None",.)))  %>%  
    kbl %>% kable_paper(c("striped", "hover"), full_width = F, fixed_thead = T)

ds2_all[ds2_all$table == "train",] %>% 
  dplyr::select("Id" | contains("MasVnr")) %>%
  filter_all(any_vars( is.na(.)))  %>%  
    kbl %>% kable_paper(c("striped", "hover"), full_width = F, fixed_thead = T)

ds2_all[ds2_all$table == "train",] %>% 
  dplyr::select("Id" | contains("Fireplace")) %>%
  filter_all(any_vars( is.na(.)))  %>%  
    kbl %>% kable_paper(c("striped", "hover"), full_width = F, fixed_thead = T)